Stanford Artificial Intelligence Laboratory Memo Aim-254

T h i s r epor t documents the f e a s i b i l i t y s tudy d o n e a t S t a n f o r d U n i v e r s i t y ’ s A r t i f i c i a l I n t e l l i g e n c e L a b o r a t o r y o n t h e p r o b l e m o f c o m p u t e r a u t o m a t e d a e r i a l / o r b i t a l p h o t o g r a m m e t r y . T h e t e c h n i q u e s i n v e s t i g a t e d w e r e b a s e d o n c o r r e l a t i o n m a t c h i n g o f s m a l l a r e a s i n d i g i t i z e d p a i r s o f s t e r e o i m a g e s t a k e n f r o m h i g h a l t i t u d e o r p l a n e t a r y o r b i t , w i t h t h e o b j e c t i v e o f d e r i v i n g a 3-dimensional m o d e l f o r t h e s u r f a c e o f a p l a n e t . T h i s r e s e a r c h w a s s u p p o r t e d i n p a r t b y t h e N a t ional A e r o n a u t its a n d S p a c e A d m i n i s t r a t i o n ’ s L a n g l e y R e s e a r c h C e n t e r u n d e r C o n t r a c t N o . NASl-9682 and i n pa r t by t he Advanced Resea rch P ro jec t s Agency o f t he O f f i ce o f De fense unde r Con t rac t N o . DAK-15-73-8435. T h e v i e w s a n d c o n c l u s i o n s i n t h i s d o c u m e n t a r e t h o s e o f t h e a u t h o r s a n d s h o u l d n o t b e i n t e r p r e t e d a s n e c e s s a r i l y r e p r e s e n t i n g t h e o f f i c i a l p o l i c i e s , e i t h e r e x p r e s s e d o r i m p l i e d , of NASA, ARPA, or the U.S. Government. Reproduced in the U S A . A v a i l a b l e f r o m t h e N a t i o n a l T e c h n i c a l I n f o r m a t i o n S e r v i c e , S p r i n g f i e l d , V i r g i n i a 2 2 1 5 1 . I. Statement of the Problem. T h e a u t o m a t e d a e r i a l / o r b i t a l p h o t o g r a m m e t r y p r o b l e m i s a subproblem o f t h e m o r e g e n e r a l s t e r e o c o m p u t e r v i s i o n p r o b l e m : g i v e n a s u i t a b l e p a i r o f i m a g e s t a k e n o f t h e s u r f a c e s o f o n e o r m o r e o b j e c t s , d e r i v e a 3 d i m e n s i o n a l m o d e l o f s a i d o b j e c t s . I n o u r c a s e , t h e r e i s o n e o b j e c t , a p o r t i o n o f t h e s u r f a c e o f M a r s , w h i c h w e w i s h t o d e s c r i b e i n t e r m s o f ‘ d e v i a t i o n s i n e l e v a t i o n f r o m a s p e c i f i e d e l l i p s o i d t h e a s t r o n o m e r ’ s m o d e l o f M a r s , T h i s e l e v a t i o n i n f o r m a t i o n c a n b e p r e s e n t e d i n s e v e r a l v i s u a l f o r m s : w e w i l l u s u a l l y p r e s e n t i t a s e l e v a t i o n p i c t u r e s o r e l e v a t i o n c o n t o u r m a p s . II. Approach. O u r o v e r a l l a p p r o a c h i s t h e s a m e i n e f f e c t , b u t s l i g h t l y d i f f e r e n t i n i m p l e m e n t a t i o n f r o m t h a t t a k e n b y t r a d i t i o n a l a n a l o g p h o t o g r a m m e t r y . W h i l e i t i s p o s s i b l e t o u s e t h e t r a d i t i o n a l c o n t o u r f o l l o w i n g m e t h o d s i n a n a u t o m a t e d s y s t e m , i t i s m o r e e f f i c i e n t t o o r g a n i z e t h e t a s k i n a s l i g h t l y d i f f e r e n t f a s h i o n . O u r f i r s t s t e p i n a u t o m a t e d p h o t o g r a m m e t r y i s t o a t t e m p t t o m a t c h ( p u t in to geometr i c correspondence) a s m a n y p o i n t s a s p o s s i b l e i n t h e t w o i m a g e s , T h e b e s t m e t h o d t h a t w e k n o w f o r m a t c h i n g p o i n t s i s b a s e d o n m a x i m i z i n g t h e n o r m a l i z e d c r o s s c o r r e l a t i o n b e t w e e n a r e a s c e n t e r e d o n t h e p o i n t s in the two i m a g e s . F o r e f f i c i e n c y , i t i s n e c e s s a r y t h a t t h e s e a r e a s b e a s s m a l I a s p o s s i b l e , b u t t h e y m u s t b e s t a t i s t i c a l l y v a l i d , t h a t i s , t h e a r e a s m u s t h a v e signif icant in fo rma t ion con ten t above the known no ise l eve ls o f t he da ta . W e u s e n o r m a l i z e d c o r r e l a t i o n ( a s o p p o s e d t o o t h e r a v a i l a b l e m e a s u r e s o f match) b e c a u s e t h i s m e a s u r e i s t h e m o s t i m m u n e t o t h e e f f e c t s o f l i n e a r e r r o r s i n t h e p h o t o m e t r i c m o d e l s f o r t h e t w o i m a g e s . T h e m o s t c o m m o n s u c h e r r o r s a r e v i d i c o n s p a t i a l c a l i b r a t i o n e r r o r s (shading) and p h o t o m e t r i c f u n c t i o n di f ferences, d u e t o o u r h a v i n g d i f f e r e n t v i e w s o f a s u r f a c e f o r w h i c h t h e r e i s no t an accu ra te pho tome t r i c mode l . T h e r e s u l t o f t h e m a t c h i n g p r o c e s s i s a s e t o f paral laxes ( d i f f e r e n c e s i n p o s i t i o n b e t w e e n p a i r s o f c o r r e s p o n d i n g p o i n t s i n t h e t w o i m a g e s ) , w h i c h a r e d i r e c t l y r e l a t e d t o t h e e l e v a t i o n s o f t h e 3 d i m e n s i o n a l p o i n t s r e p r e s e n t e d b y t h e p a i r s . T h e s e c o n d s t e p i s t o t r a n s l a t e t h e s e p a r a l l a x e s i n t o e l e v a t i o n s . T h i s t a k e s i n t o a c c o u n t t h e p o i n t i n g a n g l e d a t a f o r t h e s p a c e c r a f t a t t h e t i m e s t h e p i c t u r e s w e r e t a k e n , t h e g e o m e t r i c v i d i c o n d i s t o r t i o n , a n d a n y c o r r e c t i o n assumpt ions wh ich need to be app l i ed . T h e r e s u l t o f t h i s s e c o n d s t e p i s a n e l e v a t i o n p i c t u r e a n a r r a y o f n u m b e r s r e p r e s e n t i n g t h e r e l a t i v e e l e v a t i o n a t s u r f a c e p o i n t s . T h e s e p i c t u r e s a r e u s u a l l y s m o o t h e d s o m e w h a t t o f i l l i n h o l e s i n t h e e l e v a t i o n d a t a c a u s e d b y l o w i n f o r m a t i o n i n t h e d a t a o r e r r o r s i n t h e m a t c h i n g p r o c e s s . I n t h e f i n a l s t e p , t h e e l e v a t i o n p i c t u r e i s c o n t o u r e d a t s o m e s p e c i f i c i n t e r v a l t o f o r m t h e d e s i r e d c o n t o u r m a p . III. Restrictions on the Image Data. C e r t a i n r e s t r i c t i o n s m u s t b e p l a c e d u p o n t h e d a t a w e c a n h a n d l e . S o m e o f t h e s e a r e necessary t o e n s u r e t h a t the images are comparable and t h a t correspond i ng areas i n t h e t w o i m a g e s w i l l “ l o o k s i m i l a r ” . O t h e r r e s t r i c t i o n s a r e n e c e s s a r y t o e n s u r e t h a t t h e v a r i a t i o n s d e t e c t e d o n t h e s u r f a c e a r e d u e t o e l e v a t i o n . T h e m a t c h i n g p r o c e s s r e q u i r e s t h a t t h e t w o i m a g e s a p p e a r t o h a v e b e e n t a k e n a t v e r y n e a r l y t h e s a m e r a n g e , w i t h n o a p p r e c i a b l e s p a c e c r a f t r o l I b e t w e e n t h e t w o v i e w s . S o t h a t t h e s c a l e i s c o n s i s t e n t o v e r t h e i m a g e s , w e r e q u i r e t h a t t h e v i s i b l e a n g u l a r p o r t i o n o f t h e s p h e r i c a l s u r f a c e b e s m a l l . T h i s r u l e s o u t o b l i q u e s h o t s w h i c h c a u s e e x t r e m e g e o m e t r i c d i s t o r t i o n b e t w e e n t h e t w o v i e w s . And, o f c o u r s e , f o r e l e v a t i o n w o r k i t i s b e s t t h a t t h e i m a g e s b e t a k e n a t e q u a l b u t o p p o s i t e v i e w a n g l e s w i t h r e s p e c t t o s u r f a c e v e r t i c a l . I t i s n e c e s s a r y t h a t t h e i m a g e s s h o w n o a p p r e c i a b l e d i f f e r e n c e s i n s u n a n g l e o r i n t i m e , s i n c e t h e s e v a r i a t i o n s i n t h e s u r f a c e f e a t u r e s m a k e i t e x t r e m e l y d i f f i c u l t t o m a t c h c o r r e s p o n d i n g a r e a s . M o s t i m p o r t a n t , w e m u s t h a v e i m a g e s w i t h s u f f i c i e n t i n f o r m a t i o n a n d a g o o d e n o u g h s i g n a l t o n o i s e r a t i o s o t h a t m a t c h i n g i s p o s s i b l e . I m a g e s w i t h h i g h n o i s e l e v e l s , f e a t u r e l e s s i m a g e s , a n d i m a g e s whose on ly fea tu res a re l i n e a r i n t h e d i r e c t i o n o f t h e c a m e r a base1 i n e p r e s e n t p r o b l e m s w h i c h t h e c u r r e n t s t a t e o f t h e a r t i n m a t c h i n g c a n n o t h a n d l e . c -Idea l Iy , --we w o u l d l i k e c o n t r o l l e d r a w i m a g e s i m a g e s t a k e n o n t h e s a m e o r b i t w i t h m o d e r a t e , e q u a l b u t o p p o s i t e v i e w a n g l e s , n o r o l I , e t c . T h e l u n a r p h o t o g r a p h s t a k e n b y t h e A p o l l o a s t r o n a u t s a n d d i g i t i z e d f o r c o m p u t e r u s e a r e a n examp le o f such con t ro l l ed raw images . I t i s h o p e d t h a t t h e V i k i n g l a n d i n g s i t e v e r i f i c a t i o n i m a g e s w i l l a l s o b e o f t h i s v a r i e t y . I f c o n t r o l l e d i m a g e s a r e n o t a v a i l a b l e , w e c a n w o r k w i t h r e c t i f i e d images-o r t h o g r a p h i c p r o j e c t i o n s b a s e d o n b e s t e s t i m a t e s o f s p a c e c r a f t p o s i t i o n s a n d o r i e n t a t i o n s a t t h e t i m e t h e i m a g e s w e r e t a k e n . The Mar ine r 3 B f rames a re an e x a m p l e o f s u c h d a t a . H o w e v e r , w e p r e f e r t o w o r k w i t h c o n t r o l l e d r a w i m a g e s , s i n c e any t r a n s f o r m a t i o n o f the images has t h e e f f e c t o f smear i ng o u t h i g h f r e q u e n c y i n f o r m a t i o n . IV . Limitations on Results. i S i n c e w e k n o w t h a t t h e r e w i l l b e p h o t o m e t r i c e r r o r s a n d n o i s e i n t h e sys tem, i t i s n o t p r a c t i c a l to attempt to p lace s i n g l e p i x e l s i n t o co r respondence . T h e b e s t w e c a n d o i s t o m a t c h s m a l l a r e a s . T h e o p t i m a l s i z e o f t h e s e a r e a s w i I I v a r y i n v e r s e l y w i t h t h e g e n e r a l i n f o r m a t i o n c o n t e n t o f t h e images, i . e . t h e c o r r e l a t i o n a r e a m u s t b e l a r g e r i f t h e o v e r a l l i n f o r m a t i o n c o n t e n t o f t h e i m a g e s i s l o w . T h i s I i m i t s h o w a c c u r a t e l y w e c a n s p a t i a l Iy r e s o l v e c h a n g e s i n t h e paral l a x . C l e a r l y i f w e a r e c o m p u t i n g c o r r e l a t i o n o v e r a n n x n t a r g e t a r e a , a n d w e s h i f t t h e t a r g e t a r e a b y n/2 p i x e l s i n e i t h e r t h e v e r t i c a l o r h o r i z o n t a l d i r e c t i o n , w e s t i l l h a v e a 5 0 % o v e r l a p w i t h t h e p r e v i o u s c o r r e l a t i o n w i n d o w . S i n c e t h e t w o a r e a s a r e n o t i n d e p e n d e n t , t h e paral l ax measurement fo r tha t second target area wi I I not be i n d e p e n d e n t o f t h e paral l a x o f t h e f i r s t t a r g e t a r e a . Thus, o u r s p a t i a l r e s o l u t i o n w i l l b e i n v e r s e l y r e l a t e d t o t h e n e c e s s a r y c o r r e l a t i o n w i n d o w s i z e . T h i s , a s w e l l a s t h e e f f i c i e n c y c o n s i d e r a t i o n , u r g e s t h e u s e o f w i n d o w s t h a t a r e a s s m a l l a s p o s s i b l e . T h e a c c u r a c y l i m i t s i n g e n e r a t i n g a n e l e v a t i o n m a p a r e a l s o d e t e r m i n e d b y h o w wel I w e c a n e s t i m a t e t h e p a r a l l a x b e t w e e n p o i n t s ( a r e a s ) i n t h e t w o i m a g e s , C l e a r l y , s i n c e a r e a c o r r e l a t i o n a c c o m p l i s h e s a g r o s s r e g i s t r a t i o n o f t h e p i x e l s w i t h i n t h e a r e a s , paral l a x e s t i m a t e s d o n e b y t h i s m e t h o d w i I I b e w i t h i n a h a l f o f a p i x e l o f t h e c o r r e c t v a l u e . I n t e r p o l a t i o n o f t h e c o r r e l a t i o n v a l u e s c a n g i v e a c l o s e r e s t i m a t e o f t h e p a r a l l a x . T h e r e w i l l a l s o b e s o m e r e g i o n s i n t h e i m a g e s w h i c h c a n n o t b e m a t c h e d a t a l I , T h i s c a n b e d u e t o l o c a l l y l o w i n f o r m a t i o n i n t h e i m a g e s , i n f o r m a t i o n w h i c h i s d i r e c t e d s o l e l y a l o n g t h e b a s e l i n e d i r e c t i o n , o r changes b e t w e e n t h e t w o images o the r than those caused by su r face e leva t ion .